SLPO: Scaling Latent Reasoning via a Surrogate Policy
SLPO：通过替代策略优化实现潜在推理的扩展
🧭 强化学习 · 潜在推理 · 测试时扩展
The Hong Kong Polytechnic University · Sichuan University
提出替代潜在策略优化（SLPO），用经验密度和自适应停止将结果奖励RL引入潜在推理，实现测试时扩展
📌 工作参考价值（4 点）
- 潜在计算可用于推荐Agent的推理加速：在对话推荐或商品解释生成中，用连续向量代替显式CoT token，可大幅降低服务端推理成本，SLPO的RL训练方式可直接优化这种潜在表示。
- 替代密度思想可借鉴到无似然生成场景的信用分配：当推荐系统的生成模块（如生成式检索）的中间状态不可微时，可构造经验替代分布来分配轨迹级奖励，实现端到端优化。
- 自适应停止头可动态控制推荐Agent的思考深度：根据用户查询的复杂程度（如长尾商品推荐 vs. 热门商品），动态分配潜在计算步数，平衡效果与延迟，这与搜索/推荐中的动态路由需求一致。
- RL+潜在推理的范式可迁移到多步推荐策略优化：例如在多轮对话推荐中，将隐式状态更新建模为潜在轨迹，用最终转化信号作为奖励进行RL训练，实现推荐策略的自适应优化。